Địa bàn xã Cao Sơn hiện nay trước đây vốn là ba xã: Cao Răm, Hợp Hòa, Trường Sơn.

Xã Cao Răm được thành lập vào ngày 15 tháng 11 năm 1968 trên cơ sở sáp nhập hai xã Đào Lâm và Cao Sơn.[3]

Trước khi sáp nhập, xã Cao Răm có diện tích 33,70 km2, dân số là 4.872 người, mật độ dân số đạt 145 người/km2. Xã Hợp Hòa có diện tích 9,54 km², dân số là 2.799 người, mật độ dân số đạt 293 người/km². Xã Trường Sơn có diện tích 32,43 km², dân số là 2.411 người, mật độ dân số đạt 74 người/km².

Ngày 17 tháng 12 năm 2019, sáp nhập toàn bộ diện tích và dân số của ba xã Cao Răm, Hợp Hòa và Trường Sơn thành xã Cao Sơn.[1]